RecGPT-Mobile-V2 技术报告：端侧个性化 Query 预测的质效联合优化
🧭 个性化 Query 预测 · 端侧 LLM 自适应推理 ★ 深度解读
Alibaba
面向端侧个性化 Query 预测，提出质量门控自适应推理与压缩部署的端到端框架。
📌 工作参考价值（4 点）
- 行为轨迹压缩可先做确定性工程再上模型：按“搜索/购买>加购/收藏>点击/内容种子>曝光/页面噪声”分层，去爆、去重、语义富化、分段序列化，将 ~300 原始事件压到 100-300 token 的 LLM 可读上下文；电商推荐/搜索场景下，这是低成本、可审计的输入治理方式。
- 训练顺序建议 PT→SFT→RL：先用 domain CPT 注入层级 Semantic ID、共现/互补/替代关系和购后转移，再通过 SFT 固定输出契约（单 Query、独立 rationale 区域、禁止解释和候选列表），最后才做 RL；业务迁移时先确保基座懂领域和输出格式合法。
- RL 奖励设计不要用全局长度惩罚，而是质量门控：分组 rollout 中仅对质量合格且长度可比的轨迹计算输入分位数预算，采用 one-sided 超额成本 + 乘法折扣 Q*exp(-λC)，并保留 rank protection；这能避免模型刷短 query 或牺牲 grounding。
- 端侧部署可分离 teacher 显式 CoT 与 student 隐式 latent 推理：teacher 保留完整 rationale 用于监督/审计，student 只输出最终 Query；结合 INT8/INT4 量化、结构化剪枝、蒸馏和端云路由，适合移动端低延迟场景。
权重即程序：一种模糊函数的编程范式
🧭 编译器-解释器范式 · 模糊函数编译为 LoRA ★ 深度解读
University of Waterloo · Cornell University · Harvard University
用 4B 编译器将模糊任务规格编译成小 LoRA 程序，0.6B 解释器执行可超 32B 模型提示且省 50× 内存
📌 工作参考价值（4 点）
- 模糊函数本地化：将需要反复调用的模糊判断（如意图分类、文案审核、查询质量过滤）编译为 0.6B + LoRA 小程序，在本地 CPU/GPU 上以 30 tok/s 运行，摆脱对 API 的依赖，成本与延迟骤降。
- 编译器-解释器架构：借鉴其“编译一次，本地无限执行”的模式，对固定模糊任务（如搜索意图重排的打分函数）可事先用 4B 模型生成 LoRA 权重，后续调用只需加载 23MB 适配器，无需远程调用。
- 伪程序去噪：他们在规格输入阶段用 4B 编译器将噪声规格重述为清晰伪程序，再喂给小解释器，大幅提升小模型对错别字、口语化规格的鲁棒性。在用户输入的任务描述不规范时可采用类似预处理。
- 工具调用管道：论文中将多个 PAW 程序串联实现复杂的工具路由（93% 准确率），可类比推荐系统中的多步预处理或过滤管线，每个环节编译为独立 LoRA，按需组合，灵活升级。